Phụng sự Cao Hoan

Năm Trung Hưng đầu tiên (531), Nhạc nhận chức Tán kỵ thường thị, Trấn đông tướng quân, Kim tử quang lộc đại phu, lĩnh Vũ vệ tướng quân. Giao chiến với họ Nhĩ Chu ở Hàn Lăng, Cao Hoan nắm trung quân, Cao Ngang nắm tả quân, Nhạc nắm hữu quân. Trung quân gặp bất lợi, Nhĩ Chu Triệu thừa thế xua quân tiến đánh, Nhạc dựng cờ hô to, đón đánh trận địa của Triệu, Cao Hoan mới lui về an toàn, sau đó hăng hái xông lên, đại phá quân địch. Nhạc nhờ công được phong làm Vệ tướng quân, Hữu quang lộc đại phu, vẫn lĩnh Vũ vệ.

Năm Thái Xương đầu tiên (532), ông làm Xa kỵ tướng quân, Tả quang lộc đại phu, lĩnh Tả hữu vệ, phong tước Thanh Hà quận công, thực ấp 2000 hộ. Sơn thị được phong Quận quân, thụ chức nữ thị trung, vào hầu Hoàng hậu. Khi ấy Nhĩ Chu Triệu vẫn đang chiếm cứ Tịnh Châu, Cao Hoan tiến hành chinh thảo, lệnh cho Nhạc ở lại trấn thủ kinh sư, dời sang làm Phiêu kỵ đại tướng quân, Nghi đồng tam tư.

Năm Thiên Bình thứ 2 (535) nhà Đông Ngụy, ông làm Thị trung, 6 châu quân sự đô đốc, gia chức Khai phủ. Nhạc vời gọi những bậc danh hiền thời ấy, dùng làm liêu thuộc, được mọi người khen ngợi. Ông được ban chức Đô giám điển thư, lại được làm Thị trung, Sứ trì tiết, 6 châu đại đô đốc, Ký Châu Đại trung chính. Không lâu sau ông được làm Kinh kỳ đại đô đốc, coi việc quân từ 6 châu đến Kinh kỳ. Khi ấy Cao Hoan làm việc ở Tấn Dương, Nhạc cùng bọn Tôn Đằng ở kinh sư phụ chính, người thời bấy giờ gọi Nhạc và bọn Tôn Đằng, Cao Long Chi, Tư Mã Tử Như là "tứ quý".

Năm Nguyên Tượng thứ 2 (539), vì mẹ bệnh nên ông rời chức. Nhạc không cởi thắt lưng, hết sức chăm sóc mẹ. Khi bà mất, ông khóc thương thảm thiết, Cao Hoan rất lo lắng, mỗi ngày đều sai người đến khuyên giải. Sau đó, ông quay lại nhận chức cũ. Năm sau, ông được kiêm chức Lĩnh quân tướng quân.

Đầu những năm Hưng Hòa (539 – 542), Cao Trừng vào triều, Nhạc ra làm Sứ trì tiết, đô đốc, Ký Châu thứ sử,Thị trung, Phiêu kỵ, Khai phủ nghi đồng như cũ. Năm thứ 3 (541), ông chuyển ra làm Thanh Châu thứ sử. Nhạc cầm quyền lâu ngày, khiến cho trong triều ngoài cõi đều kính sợ. Khi ông ra ngoài làm việc, trăm họ nghe phong thanh thì tránh xa.

Năm Vũ Định đầu tiên (543), ông làm Tấn Châu thứ sử, Tây Nam đạo đại đô đốc, được tiếng là hiểu việc vùng biên cương. Khi ấy, Nhạc có bệnh, Cao Hoan lệnh cho ông quay về Tịnh Châu chữa trị, khỏi bệnh, quay lại nhận chức.

Phụng sự Cao Trừng

Khi Cao Hoan mất, Hầu Cảnh làm phản, Cao Trừng triệu Nhạc về Tịnh Châu, cùng tính kế đánh dẹp. Lương Vũ đế thừa cơ phái Trinh Dương hầu Tiêu Uyên Minh đến Hàn Sơn, ngăn nước Tứ Thủy, rót vào Bành Thành, giúp sức cho Hầu Cảnh. Nhạc làm tổng soái các cánh quân đến đánh, cùng bọn Hành đài Mộ Dung Thiệu Tông đại phá quân Lương, bắt sống Tiêu Uyên Minh và bọn Đại tướng Hồ Quý Tôn, cùng mấy vạn người. Hầu Cảnh đưa quân đến Qua Dương, cùng bọn Lưu Phong giằng co. Nhạc đưa quân quay về đuổi đánh, Cảnh đại bại, 1 ngựa chạy thoát. Năm thứ 6 (548), ông nhờ công được phong làm Thị trung, Thái úy, còn lại như cũ; được ban tước Tân Xương huyện tử.

Sau đó, Nhạc lại được bái làm Sứ trì tiết, Hà Nam tổng quản, đại đô đốc, thống lĩnh bọn Mộ Dung Thiệu Tông, Lưu Phong đi đánh Vương Tư Chính ở Trường Xã. Tư Chính đóng chặt cửa thành cố thủ, bọn Nhạc ngăn nước sông Vị rót vào thành. Khi đánh thành, Thiệu Tông chết đuối, Lưu Phong trúng tên mà chết, lại thêm viện binh Tây Ngụy đến cứu Tư Chính, Nhạc trong ngoài chống giữ, rất có mưu lược. Thành không còn gì nguyên vẹn. Cao Trừng thân chinh đến nơi, được vài ngày thì hành bị hạ, bắt được Tư Chính. Ông nhờ công được ban tước Chân Định huyện nam, Trừng lấy đó làm công mình, nên chỉ ban thưởng thế thôi!

Phụng sự Cao Dương

Cao Trừng bị giết, Cao Dương ra Tấn Dương nắm quyền, lệnh cho Nhạc giữ quan chức cũ, kiêm Thượng thư tả bộc xạ, trấn thủ Kinh sư. Đầu những năm Thiên Bảo (550 – 559) nhà Bắc Tề, ông được tiến phong làm Thanh Hà quận vương, Sứ trì tiết, Phiêu kỵ đại tướng quân, Khai phủ nghi đồng tam tư, Tông sư, Kinh Châu mục. Năm thứ 5 (554), được gia chức Thái Bảo.

Năm ấy, Lương Nguyên đế bị quân Tây Ngụy vây bức, sai sứ cấp báo, cầu viện binh. Mùa đông, triều đình ban chiếu cho Nhạc làm Tây nam đạo Đại hành đài, thống lĩnh bọn Tư đồ Phan Nhạc đi cứu Giang Lăng. Tháng giêng năm thứ 6 (555), quân Tề đến Nghĩa Dương, Kinh Châu đã rơi vào tay quân Tây Ngụy, ông nhân đó cướp bóc từ nam Trường Giang đến Dĩnh Châu, thứ sử Lục Pháp Hòa dâng châu đầu hàng. Nhạc trước đưa bọn Lục Pháp Hòa về kinh sư, sau sai Mộ Dung Nghiễm giữ Dĩnh Thành. Triều đình biết Giang Lăng đã mất, ban chiếu cho ông trở về.